TPE（tree-structured Parzen estimator）
forループやif文を含むようなパラメータが木構造（tree-stucture）の探索空間にも対応できるベイズ最適化アルゴリズム
単変量TPEは，探索点の各次元と目的関数の評価値の間の確率分布を仮定して，次元ごとに独立の推定を行うベイズ最適化手法である．
ここで，$ xの定義域を$ D \in \mathbb{R}^dとすると，以下のように記述できる．
すなわち，d次元の変数$ \vec{x} = (x^{(1)}, x^{(2)}, ..., x^{(d)}) \in Dについての最適化を行うとき，単変量TPEは$ \vec{x} \in Dと$ y \in \mathbb{R}の関係を推定するのではなく，各次元$ x^{(i)}\in\mathbb{R}と$ y\in\mathbb{R}の関係ごとに確率的なモデルを仮定して，各次元に対して獲得関数を定める．
これにより次元ごとに探索点の選択が完結するため，繰り返し（forループ）や分岐（if文）などを含んだ複雑な探索空間にも対応しやすいという特長がある一方，次元間の相関を捉えられないという欠点がある．
全ての次元を同時に考慮する多変量TPEのアルゴリズムも存在するが，複雑な探索空間に対応しきれなくなる可能性があるため，特別な工夫を導入する必要が生じる．